CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing
CForce：通过一致性强制提升扩散语言模型并行解码
🧭 dLLM 并行解码一致性蒸馏
Shanghai Jiao Tong University · Ant Group
提出 Consistency Forcing 蒸馏方法，用后期掩码预测监督早期预测，改善 dLLMs 高并行解码的质量
📌 工作参考价值（4 点）
- 低延迟生成场景可迁移：电商创意文案、商品标题、push 文案等对延迟敏感且可接受部分生成的场景，可以尝试用 dLLM 并行解码替代 AR 解码，并采用 CForce 蒸馏抑制早期掩码预测错误传播，在高并行预算下获得更好的速度-质量权衡。
- 蒸馏目标设计值得借鉴：Confidence Adaptive KL 动态结合前向 KL（模式覆盖）和反向 KL（模式坍缩），可在推荐模型蒸馏、策略蒸馏或 LLM 蒸馏中用于平衡学生模型输出的多样性与准确性，尤其适合标签软化的场景。
- 自回滚轨迹训练提升训练-推理一致性：业务中若使用迭代式生成（如多轮 Agent 交互、多次改写），可以收集模型自身推理轨迹，用后期步的高置信预测作为早期步的监督信号，缓解训练与推理分布不一致。
- edit-capable 解码的监督思路：后期 token-to-token 修正可反哺早期 masked-state 预测，对带修正/编辑能力的生成流程（如搜索词改写、推荐理由生成）有参考价值。